Với sự thất thế của chính phủ Lord North năm 1782, Lord Rockingham thuộc đảng Whig trở thành Thủ tướng lần thứ 2, nhưng ông ta chết sau đó có vài tháng. Nhà vua sau đó bổ nhiệm Lord Shelburne lên thay. Tuy nhiên, Charles James Fox lại không muốn phục vụ dưới trướng Shelburne, và đề nghị nên bổ dụng Công tước Portland. Năm 1783, Hạ viện đã buộc Shelburne từ bỏ chức vị và giải tán chính phủ. Chính phủ giờ nằm trong tay liên minh Fox–North. Công tước xứ Portland trở thành Thủ tướng, còn Fox và Lord North, là Bộ trưởng ngoại giao và Bộ trưởng nội vụ.[17]

Nhà vua không thích Fox vì ông ta quá chuyên quyền, ông cho rằng Fox bất lương và sẽ ảnh hưởng xấu đến Thân vương xứ Wales.[62] George III đã đau khổ vì phải bổ nhiệm các bộ trưởng không theo ý thích của mình, nhưng phe đảng của Portland nhanh chóng xây dựng thế đa số trong Viện Thứ dân và không thể đánh đổ dễ dàng. Ông càng thất vọng hơn khi chính phủ đề xuất Đạo luật Ấn Độ, theo đó cải cách tình trạng của chính phủ Ấn Độ bằng cách chuyển giao quyền cai trị của Công ty Đông Ấn sang cho Nghị viện[63]. Mặc dù nhà vua ủng hộ để cho công ty tiếp tục cai quản Ấn Độ, song tất cả các ủy viên là đồng minh của Fox đều tuyên bố ủng hộ dự luật.[64] Ngay sau khi Hạ viện thông qua dự luật, George ủy quyền cho Lord Temple thông báo với Thượng viện rằng ông sẽ coi bất kì người nào ủng hộ dự luật trên là kẻ thù của mình. Bởi vậy dự luật bị bác bỏ ở Thượng viện, và 3 ngày sau đó, chính phủ Portland bị giải tán, và William Pitt trẻ trở thành Thủ tướng mới, và Temple là Ngoại trưởng. Ngày 17 tháng 12 năm 1783, Nghị viện bỏ phiếu lên án sự can thiệp của nhà vua lên Quốc hội là "tội lỗi lớn" và buộc Temple phải từ chức. Sự ra đi của Temple gây ra xáo trộn trong chính phủ. Ba tháng sau đó, chính phủ hiện tại mất đi đa số ghế và Quốc hội phải giải tán; tiếp đó Pitt giành thắng lợi lớn trong cuộc tuyển cử năm sau.[17]